Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
鸡尾酒交谈者：噪声社交环境下的多说话人对话建模与回复动作强化学习
🧭 语音对话 Agent · 回复时机决策
Columbia University · University of Washington · University of Illinois Urbana-Champaign
用三个动作令牌（回应/倾听/忽略）与 GRPO 强化学习，让语音助手自主决定是否开口
📌 工作参考价值（4 点）
- 多轮对话中的回复节制：电商客服或语音助手可引入 <respond>/<listen>/<ignore> 动作令牌，避免在不必要时打断用户或产生噪声回复，提升多用户混用场景下的体验。
- 离线 RL 微调决策时机：借鉴 GRPO（Group Relative Policy Optimization）在离线对话数据上优化回复策略，无需在线试错，可安全部署到推荐对话系统。
- 数据仿真管线复用：Cocktail-DialogGen 使用 LLM 模拟多角色社交对话，可迁移至电商导购场景，生成带角色、意图标签的多轮混合对话训练数据。
- 语音与文本决策的统一：将语音输入和文本决策统一到一个 LLM 框架，为未来多模态搜索推荐（如语音搜索 + 对话式推荐）的决策层设计提供参考。